package com.mjf.spark.day02

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 通过读取外部文件，创建rdd
 */
object Spark02_CreateRDD_file {
  def main(args: Array[String]): Unit = {

    // 创建SparkConf配置文件
    val conf = new SparkConf().setMaster("local[*]").setAppName("Spark02_CreateRDD_file")
    // 创建SparkContext对象
    val sc = new SparkContext(conf)

    // 从本地文件中读取数据，创建RDD
    val rdd1: RDD[String] = sc.textFile("D:\\code\\spark\\input")

    // 从HDFS服务器上读取数据，创建RDD
//    val rdd2: RDD[String] = sc.textFile("hdfs://hadoop102:9000/input")

    rdd1.collect().foreach(println)
//    rdd2.collect().foreach(println)

    // 关闭连接
    sc. stop()

  }
}
